Рассмотрим второй случай, когда о параметре известна информация лишь пунктов 0)-2), то есть функция штрафа $G(b, \beta)$ не известна. Однако, будем предполагать, что функция $G$ удовлетворяет свойству $(*)$ из раздела \ref{func_G_properties}! Наш метод будет основан на теореме из главы \ref{first_static}, а оценка будет получена в виде условной моды.

Проделаем все выкладки предыдущего метода для задачи минимизации среднего риска. Далее используем теорему из главы \ref{first_static}. Таким образом, задача свелась к отысканию моды для известного условного распределения $\Argmax p(b\left|\right. y)$.

Моду можно искать с помощью дифференцирования по переменной $b$.

\subsubsection{Гауссовский пример}
Пусть дано уравнение связи $y = ub + n$, где $b$ --- скаляр (в общем случае $b \in\mathbb{R}^m$).  Осуществляется $N$ наблюдений, при этом измеряются значения вектора $y = y^{*}\in\mathbb{R}^N$,  $u\in \mathbb{R}^{n}$($u\in \mathbb{R}^{n\times m}$) --- известные входы системы.

Известно априорное распределение параметра $b: q(b)\sim \mathcal{N}(\mu_b, \sigma_b^2)$ ($q(b)\sim \mathcal{N}(m_b, R_b)$).
Также известна плотность шума $p(n)\sim \mathcal{N}(0, \sigma_n^2 I)$ ($p(n)\sim \mathcal{N}(m_N, R_n)$), при этом считается, что $b$ и $n$ являются независимыми случайными величинами, а неизвестная функция $G(b, \beta)$ удовлетворяет условиям $(*)$.


\noindent {\bf Получим априорные оценки для выходов}
    \begin{equation*}
           \mathbb{E}y = \mathbb{E}(ub + n) = u\mathbb{E}b + \mathbb{E}n = u \mu_b (\text{в общем случае } um_b + m_n).
       \end{equation*}
    Заметим, что измерения $y^{*}$ еще не получены, поэтому $y$ является случайной величиной, а $u\mu_b$ --- ожидаемые измерения, поэтому считая, что $\mathbb{E}y = u\mu_b$, получим:
    \begin{multline*}
        \mathbb{D}y =\mathbb{E}(y - \mathbb{E}y)(y - \mathbb{E} y)' =\mathbb{E}(ub + n - u\mu_b)(ub + n - u\mu_b)' = \mathbb{E}(n + u(b - \mu_b))(n + u(b - \mu_b))' =\\ = \mathbb{E}(n n' + u(b - \mu_b)n' + n(b - \mu_b)'u' + u(b- \mu_b)(b - \mu_b)'u') = \\ = \sigma_n^2 I + u \mathbb{E}(b - \mu_b)\mathbb{E}n' + \mathbb{E}n \mathbb{E}(b - \mu_b)'u'  + u \mathbb{D}b u' = \sigma_n^2 I + u\sigma_b^2  u'.
    \end{multline*}
    Итак, априорные оценки будут иметь вид:
    \begin{equation*}
        \mathbb{E}y = u\mu_b, \ \mathbb{D}y = \sigma_n^2 I + \sigma_b^2u u'.
    \end{equation*}

\noindent {\bf Найдём байесовскую оценку двумя явными способами}

    Ищем моду условной плотности
    \begin{equation*}
        p(b \left|\right. y) = \frac{p(n) q(b)}{p(y)} = \frac{1}{p(y)}\frac{1}{\sqrt{2\pi\sigma_n^2}}e^{-\frac{n'n}{2\sigma_n^2}}\frac{1}{\sqrt{2\pi\sigma_b^2}}e^{-\frac{(b - \mu_b)^2}{2 \sigma_b^2}}.
    \end{equation*}
    
    Задача максимизации условной плотности сводится к минимизации функции $f(b)$
	\begin{equation*}
	    \Argmax\limits_{b} p(b \left|\right. y) %...
	    = \Argmin\limits_b \left\{\frac{n' n}{2 \sigma_n^2} + \frac{(b - \mu_b)^2}{2\sigma_b^2}\right\} %...
	    = \Argmin_b f(b),
	\end{equation*}

Задачу можно решить двумя способами:
\begin{enumerate}
    \item Первый способ (выделение полного квадрата)
\begin{multline*}
    f(b) = \frac{y' y}{2\sigma_n^2} - \frac{u' b y}{2\sigma_n^2} - \frac{y' u b}{2\sigma_n^2} + \frac{u'u b^2}{2\sigma_n^2} + \frac{b^2}{2\sigma_b^2} - \frac{b \mu_b}{\sigma_b^2} + \frac{\mu_b^2}{2\sigma_b^2} =\\= \left( \dfrac{u'u}{2\sigma_n^2} + \dfrac{1}{2\sigma_b^2}  \right)b^2 - \left( \dfrac{u' y}{2\sigma_n^2} + \dfrac{y' u }{2 \sigma_n^2} + \dfrac{\mu_b}{\sigma_b^2}\right) b + \left( \dfrac{y'y}{2\sigma_n^2} + \dfrac{\mu_b^2}{2\sigma_b^2}\right).
\end{multline*}

Минимум достигается в вершине параболы, поэтому:
\begin{equation*}
    \beta_b = \dfrac{  \dfrac{u' y}{2\sigma_n^2} + \dfrac{y' u }{2 \sigma_n^2} + \dfrac{\mu_b}{\sigma_b^2} }{ \dfrac{u'u}{\sigma_n^2} + \dfrac{1}{\sigma_b^2}  } = \{u'y = y'u\} = \dfrac{ \dfrac{y' u}{\sigma_n^2} + \dfrac{\mu_b}{\sigma_b^2} }{ \dfrac{u' u}{\sigma_n^2} + \dfrac{1}{\sigma_b^2} }.
\end{equation*}

\item Второй способ (дифференцирование)

\begin{multline*}
    \dfrac{\partial }{\partial b} f(b) = \dfrac{\partial}{\partial ( y - ub)}\left( \dfrac{(y - ub)' (y - ub) }{2\sigma_n^2} \right)\dfrac{\partial (y - ub)}{\partial b} + \dfrac{\partial (b - \mu_b)^2}{2\sigma_n^2\partial b}=\\ = - \dfrac{1}{\sigma_n^2}(y - ub)' u + \dfrac{1}{2\sigma_b^2}2(b - \mu_b) = -\dfrac{1}{\sigma_n^2}(y' u - u'ub) + \dfrac{1}{\sigma_b^2}(b - \mu_b).
\end{multline*}
\end{enumerate}

\begin{equation*}
    \dfrac{\partial}{\partial b} f(\beta_ b) = 0 \Rightarrow\dfrac{1}{\sigma_b^2} (\beta_b - \mu_b) = \dfrac{1}{\sigma_n^2}y^{'} u - \dfrac{u^{'} u }{\sigma_n^2}\beta_b.
\end{equation*}

Итак, получаем байесовскую оценку:
\begin{equation*}
    \beta_b = \dfrac{ \dfrac{y' u }{\sigma_n^2} + \dfrac{\mu_b}{\sigma_b^2} }{ \dfrac{u' u }{\sigma_n^2}  + \dfrac{1}{\sigma_b^2} }.
\end{equation*}

\noindent{\bf Найдём байесовскую оценку как условное математическое ожидание для гауссовских величин}

Преобразуем получившееся выражение для байесовской оценки:

\begin{equation*}
    \beta_b = \dfrac{ \dfrac{y' u }{\sigma_n^2} + \dfrac{\mu_b}{\sigma_b^2} }{ \dfrac{u' u }{\sigma_n^2}  + \dfrac{1}{\sigma_b^2} } = \dfrac{\sigma_b^2 y' u + \sigma_n^2 \mu_b}{\sigma_b^2 u' u  + \sigma_n^2} = \mu_b + \dfrac{\sigma_b^2 u' (y - u\mu_b)}{\sigma_b^2 u' u + \sigma_n^2}.
\end{equation*}

Покажем, что формула для условного мат. ожидания из главы 2 
\begin{equation*}
\label{condME}
    \mathbb{E}(b \left|\right. y) = m_b + R_{by}R_{y}^{-1} (y - m_y)
\end{equation*}
даст тот же результат, что и наше ручное вычисление байесовской оценки.

Выражение для $R_y$ можно представить в виде:
\begin{equation*}
    R_{y} = \mathbb{D} y = \sigma_n^2 I + \sigma_b^2 u u'.
\end{equation*}

Учитывая, что $ b, n \text{ --- независимы}, \mathbb{E} n = 0$, преобразуем выражение для $R_{by}$:
\begin{multline*}
      R_{by} = \mathbb{E}(b - \mu_b)(y - u\mu_b)' = \mathbb{E} (b - \mu_b) (u( b - \mu_b) + n)' =  R_b u' + \mathbb{E} (b - \mu_b) n' = \\ = R_b u' = \sigma_b^2 u'.
\end{multline*}

Воспользовавшись леммой 1 ($(A + CBC')^{-1} = A^{-1} - A^{-1}C(B^{-1} + C^{-1}A^{-1}C)^{-1} C'A^{-1}$)% нужна ссылка
, найдем выражения для $R_y^{-1}$ и $R_{by}R_{y}^{-1}$:
\begin{multline*}
    R_y^{-1} = (\sigma_n^2 I + u \sigma_b^2 u')^{-1} = \sigma_n^{-2}I - \sigma_n^{-1}u(\sigma_b^{-2} + u'\sigma_n^{-2} u)^{-1}u'\sigma_n^{-2} = \\ = \dfrac{1}{\sigma_n^2}I - \dfrac{u u'}{\sigma_n^4(\sigma_b^{-2} + u' \sigma_n^{-2}u)} = \dfrac{1}{\sigma_n^2}I - \dfrac{\sigma_b^2u u'}{\sigma_n^2(\sigma_n^2 + \sigma_b^2 u' u)}.
\end{multline*}
\begin{equation*}
    R_{by}R_{y}^{-1} = \dfrac{\sigma_b^2 u'}{\sigma_n^2} - \dfrac{\sigma_b^4u'u u'}{\sigma_n^2 (\sigma_n^2 + \sigma_b^2 u' u) } = \dfrac{ \sigma_b^2\sigma_n^2u' + \sigma_b^4u'uu' - \sigma_b^4 u' u u' }{  \sigma_n^2(\sigma_n^2 + \sigma_b^2u' u)} = \dfrac{\sigma_b^2 u'}{\sigma_n^2 + \sigma_b^2 u' u}.
\end{equation*}

Теперь легко заметить, что выражение \eqref{condME} действительно даст байесовскую оценку.


\subsubsection{Свойства байесовской оценки} 
\begin{equation*}
	\beta_b = \dfrac{ \sigma_b^2y' u + \sigma_n^2\mu_b }{ \sigma_b^2 u'u + \sigma_n^2 }
\end{equation*}

Отметим следующие свойства
\begin{enumerate}
    \item $\sigma_n^2 \ne 0, \sigma_b^2 = 0$, тогда априори параметр $b$ точно известен:  $\mu_b = b$, то есть $\beta_b = \mu_b$, поэтому неточность измерений не  испортит оценку.
    \item $\sigma_b^2 \ne 0, \sigma_n^2 = 0$, то есть проводимые измерения являются точными, тогда оценка примет вид $\beta_b = \dfrac{y' u}{u' u}$, поэтому априорные данные не важны, а важно количество экспериментов.
    \item $\sigma_b^2 \ne 0, \sigma_n^2 \ne 0$, то есть и априорная оценка известна не точно, и измерения проводятся с погрешностью.
\end{enumerate}

Пусть $y$ --- случайная величина, $y = ub + n$, тогда математическое ожидание байесовской оценки будет иметь вид:
\begin{multline*}
    \mathbb{E} \beta_b = \mathbb{E} \dfrac{\sigma_b^2 (u b +n )' u + \sigma_n^2 \mu_b}{\sigma_b^2 u' u + \sigma_n^2} = \{\mathbb{E}n = 0\}  = \dfrac{\mu_b \sigma_n^2 + u' u \sigma_b^2 \mathbb{E}b}{\sigma_n^2 + \sigma_b^2 u' u} =\\ = \mathbb{E}b +(\mu_b - \mathbb{E}b)\dfrac{\sigma_n^2}{ \sigma_n^2 + \sigma_b^2 u' u}\rightarrow b \text{ при $N\rightarrow+\infty$ (так как } u'u = Nu_0).
\end{multline*}

Таким образом, $\mathbb{E}\beta_b\rightarrow b $ при $N\rightarrow+\infty$,  то есть байесовская оценка является асимптотически несмещенной.


%    \item Покажем, что $p(y)$ не зависит от $b$
%    Так как $y = ub + n$ является линейной комбинацией гауссовских случайных величин, 
%    то $y \sim \mathcal{N}(\mathbb{E}y, \mathbb{D}y)$.
%
%    Воспользуемся формулой свертки
%	    \begin{equation*}
%	        f_{\xi_1 + \xi_2}(x) = \int\limits_{-\infty}^{+\infty}f_{\xi_2}(u)f_{\xi_1}(x - u) du  %...
%	        					 = \int\limits_{-\infty}^{+\infty}f_{\xi_1}(u)f_{\xi_2}(x - u)du.
%	    \end{equation*}
%
%	Следовательно
%		\begin{equation*}
%	    	p(y) = \frac{1}{\sqrt{2\pi \mathbb{D}y}}e^{-\frac{(y - u\mu_b)'\mathbb{D}y(y - u\mu_b)}{2}},
%		\end{equation*}
